Quel LLM pour coder en cobol ? Un benchmark spécifique émerge | Silicon

Clément Bohic - Silicon - 02/04
Un benchmark spécifique à la génération de code cobol voit le jour, sur la base du dataset HumanEval.

Comment créer un benchmark spécifique à la génération de code cobol ? En adaptant un dataset existant.

Une start-up américaine a choisi cette option. Elle s’est appuyée sur la référence HumanEval. Il en résulte… COBOLEval.

Des 164 problèmes Python que contient HumanEval, 146 ont effectivement été traduits. Ont notamment été ignorés ceux acceptant ou retournant des types difficilement représentables en cobol, comme Any et Dict.

Les fonctions n’existant pas en cobol, il a fallu utiliser les sous-programmes (définition des arguments et des variables ...
[Courte citation de 8% de l'article original]